Khi mới nhậm chức khalip (hoàng đế Hồi giáo) thay cho ông Othman bin Affan bị ám sát, Ali đã gặp nhiều sự chống đối kịch liệt đặc biệt từ hai người cùng tranh chức vị và từ bà vợ góa của nhà tiên tri Muhammad là A'isha. Có sử gia cho rằng mối thù này là do A'isha bị Ali nghi ngờ tấm lòng chung thủy của bà khi bà tới Medina trễ cùng với một người trẻ tuổi trong một bộ lạc với lý do ở lại để tìm kiếm một món nữ trang bị thất lạc, và bà A'isha không bao giờ tha thứ cho ông Ali về vấn đề này.

Đến khi Khalip Othman bị ám sát, chức vụ khalip bị bỏ trống thì A'isha đã hợp tác với hai nhân vật có nhiều tham vọng: Zubair và Talha, âm mưu nổi loạn, tố cáo Ali đã không đưa vụ sát hại Othman ra công lý. Những người âm mưu đã chiếm được thành phố quân sự Basra tại Iraq, lật đổ viên tổng trấn theo phe của ông Ali.

Do không có lực lượng quân sự để đánh dẹp quân nổi loạn, Ali đã cùng một vài người ủng hộ tại Medina đi tới thành phố Koufa cách Basra khoảng 300 km, rồi cả hai phe củng cố binh lực. Tại Basra, quân đội của Ali đã chiến thắng trong trận Camel lừng danh.

Sau trận thắng này, Ali đặt bộ chỉ huy mới tại Koufa nằm ngay giữa trung tâm đế quốc Islam và ông đã tìm cách hòa giải với các kẻ thù cũ, tuy nhiên những cuộc khủng hoảng đã xảy ra tại Koufa trong khi Ali đang tìm cách thay thế những người thân thuộc của khalip Othman đã quá cố. Một trong số những vị này là Mu'Awiya, tổng đốc Syria và là một thành viên trong gia đình Omeyyad ở Mecca. Mu'Awiya đã không chịu rút lui dễ dàng mà còn tố cáo ông Ali đồng lõa trong vụ mưu sát Othman và yêu cầu ông mang vụ sát nhân này ra xét xử. Đòi hỏi này đã được nhiều người ủng hộ và sau đó, sự do dự của Ali đã bị tố cáo là cách che chở cho các kẻ phạm pháp. Trong một buổi lễ trong một thánh đường Islam tại Damascus (Syria), Mu'Awiya đã cho người trưng ra một tấm áo màu trắng đẫm máu mà khalip Othman đã từng mặc.

Là một nhà trị vì có khả năng và một chính khách khéo léo, Mu'Awiya đã được sự ủng hộ của dân Syria và tướng Amr - một vị tướng giỏi, người đã bị Khalip Ali cho thay chức tổng trấn Ai Cập.

Sự chống đối của nội bộ Islam khiến cho Ali phải dẫn một đội quân đi đối phó với Muawiyah vào tháng 7 năm 657, gần thành phố Siffin gần biên giới Syria - Iraq ngày nay, thuộc phía bắc thung lũng dòng sông Euphrates. Sau một trận đánh khốc liệt, quân của Mu'Awiya phải rút lui nhưng sau đó viên tướng Amr đã cho binh lính cắm trên đầu những ngọn giáo các trang giấy quyển kinh Qur'an và hô to:

Thấy vậy, binh sĩ của Ali từ chối chống lại những người làm theo lời thượng đế. Cuộc chiến do đó đã bị ngưng lại và việc hòa giải kéo dài trong 6 tháng.

Do khalip Ali chấp thuận sự giảng hòa, phe cánh của Mu'Awiyah đã ở tại vị thế ngang bằng, lại được sự cố vấn của một người tài ba là tướng Amr. Vị tướng này đã đề nghị chọn một trong hai người: Ali và Mu'Awiya làm Khalip qua giải pháp trọng tài thay vì tranh chấp. Khalip Ali đã không chấp thuận điều này nhưng cũng không làm sao tiếp tục cuộc chiến với Mu'Awiya vì phần đông quân sĩ từ chối việc này. Vì những chia rẽ của nội bộ, phe chống đối Ali sau đó lập ra một phe ly khai gọi là Kharijites.

Tháng 7 năm 658, lực lượng của Ali bin Abu Talib và quân Kharijites đối đầu nhau trong một trận đánh phía đông sông Tigris, thuộc miền trung tâm của Iraq. Ali đã chiến thắng nhưng lực lượng của ông bị suy yếu, không đủ sức chống lại phe Syria do Mu'Awiya chỉ huy. Phe này đã thành lập một miền đất độc lập trong đế chế Hồi giáo bao gồm cả xứ Ai Cập. Quân đội Syria đã nhiều lần đánh phá các thành phố của Ali.